ZeroGR: Filtering-First Constrained Decoding for Generative Recommendation
ZeroGR：生成式推荐的过滤优先约束解码系统
🧭 生成式推荐 · SID 约束解码 ★ 深度解读
The University of Hong Kong · Peking University · Kuaishou Technology · Huazhong University of Science and Technology
提出过滤优先的 GPU 约束解码系统，先滤除非法 SID 再算 logits，召回与先打分几乎一致且延迟最高降 9.9×
📌 工作参考价值（4 点）
- 生成式推荐/搜索里如果采用 SID 或树约束解码，建议把 filtering 前置到 projection 之前：先查有效 next tokens，再只对有效 token 计算 logits。论文在 MovieLens-1M 上验证先过滤与先打分返回物品重叠 99.90%，召回一致，但投影计算量可下降 85%–99.95%。这基本可以无痛迁移到线上解码器，先上线 A/B 验证质量即可。
- 过滤索引按解码步切片，并按各步有效候选密度混用稀疏/稠密表示：早期 dense 对齐 token 列，后期 sparse 只存有效 SID，且用 entry position 隐式表示 successor state，省掉 successor 数组和 item id 存储。对显存敏感、目录亿级 item 的场景可显著减少 GPU 索引占用。
- 执行层用“共享候选槽位 + hybrid projection”：每个 beam 固定槽位，过滤/打分/选择直接读写同一槽位，避免动态 prefix sum；每步用 warm-up 在 full 与 selective projection 之间选最快，避免稀疏步不规则 kernel 反而拖慢。适合在 CUDA/Triton 实现 SID 解码时复用。
- 索引重建采用两遍 CPU 布局引导并行填充 + 双缓冲 pinned memory 异步 H2D 流式搬运，把重建延迟压到更新窗口内，且不与在线推理抢 GPU/带宽。电商 item 目录频繁更新时可直接借鉴。